Sau khi rời ngôi, Go-Toba được phong làm Thượng hoàng nhưng quyền lực của ông hầu như bị hạn chế rất nhiều bởi các Shogun họ Minamoto. Sau khi Minamoto no Yoritomo vừa chết năm 1199, hai con trai của ông là Yoriie và Sanetomo thay nhau nắm quyền bính. Do còn quá trẻ nên hai anh em họ Minamoto không có quyền lực nhiều, quyền lực thực tế bị lọt vào tay bố vợ Yoriie là Hōjō Tokimasa.

Chán cảnh mất quyền lực, Thượng hoàng Go-Toba quy y theo phái Tịnh độ tông và say mê làm thơ[6]. Ông đã cho tập hợp hàng trăm bài thơ Waka và cho vào tuyển tập thơ có tên Shin Kokinshū. Ông cũng rất giỏi về bắn cung, cưỡi ngựa, và kiếm thuật[7]. Sau khi con trai mất và người cháu trai lên ngôi hiệu là Thiên hoàng Chūkyō (1221), ông được tôn làm Thái thượng hoàng.

Thiên hoàng Chūkyō vừa lên ngôi ít lâu thì xảy ra loạn Jōkyū (5/1221). Nguyên do là sau khi thâu tóm các lãnh địa và lợi dụng chính quyền Shogun bị lung lay do sự việc người con mồ côi của Yoriie là Kugyô đã ám sát thành công Shôgun đời thứ 3 là Sanetomo, Thái thượng hoàng Go-Toba cự tuyệt lời yêu cầu của Kamakura xin ông gửi một hoàng tử của mình về làm Shôgun. Ngược lại, ông còn đòi Mạc phủ phải bãi bỏ các chức jitô của hai trang viên Nagae và Kurahashi trong vùng Settsu (gần Kyôto). Điều này làm Mạc phủ không chấp nhận được, và cuộc loạn đã diễn ra.

Lúc đầu, Go-Toba tập trung một lực lượng của các quý tộc và võ sĩ ở miền Đông và miền Tây vốn bất mãn với họ Hōjō phát binh chống Mạc phủ. Nào ngờ, bọn võ sĩ miền Đông lại cấu kết với Mạc phủ[8], bất ngờ tấn công vào kinh đô. Kết cuộc là toán quân đồng minh ô hợp của Thái thượng hoàng không đầy một tháng đã thảm bại trước những đạo quân tinh nhuệ của Mạc phủ. Mạc phủ bắt đày Thiên hoàng Go-Toba ra đảo Oki (ngoài khơi tỉnh Shimane bây giờ), Thiên hoàng Tsuchimikado ra cùng Tosa (tỉnh Kôchi trên đảo Shikoku bây giờ), Thiên hoàng Juntoku ra vùng Sado (tỉnh Niigata bây giờ). Mạc phủ cũng phế luôn Thiên hoàng đang trị vì, lập cháu trai của Go-Toba (con trai của người anh của Thái thượng hoàng Go-Toba) lên kế vị, hiệu là Thiên hoàng Go-Horikawa.

Ông đã qua đời và được chôn cất ở đó.

Vợ con

Trung Cung (chūgū): Nghi Thu Môn Viện (Gishūmon-in, 宜秋門院) Fujiwara no Ninshi/Takako (藤原任子, Đằng Nguyên Nhậm Tử) (1173-1239), con gái của nhiếp chính Kujō Kanezane (九条兼実)

• Thăng Tử Nội Thân Vương (Shōshi, 昇子内親王) (1195-1211) - một Trung Cung đã ly hôn với vua và trở thành mẹ nuôi của Thuận Đức Thiên hoàng (Shunkamon-in, 春華門院, Xuân Hoa Môn Viện)

Phu nhân: Thừa Minh Môn Viện (Shomeimon-in, 承明門院) Minamoto no Zaishi/Ariko (源在子, Nguyên Tại Tử) (1171-1257), con nuôi của Nội Đại Thần Nguyên Thông Thân (Minamoto no Michichika, 内大臣源通親) (con gái của thầy tế Nōen, 能円)

• Vi Nhân Thân Vương (為仁親王, Tamehito), tức là Thiên hoàng Tsuchimikado (Thổ Ngự Môn Thiên hoàng, 1196-1231)

Phu Nhân: Tu Minh Môn Viện (Shumeimon-in, 修明門院) Fujiwara no Shigeko (藤原重子, Đằng Nguyên Trọng Tử) (1182-1264), con gái của Takakura Norisue (高倉範季)

• Thủ Thành Thân Vương (Morinari, 守成親王), tức là Thiên hoàng Juntoku (Thuận Đức Thiên hoàng, 1197-1242)
• Nhã Thành Thân Vương (Masanari, 雅成親王) (1200-1255) (bị đày ải sau Chiến tranh Jōkyū)
• Tôn Khoái Pháp Thân Vương (Sonkai, 尊快法親王) (1204-1246) - Chủ tế Đền Enryaku-ji (Tendai Zasu, 天台座主, Thiên Thai Tọa Chủ)

Phu nhân: Phường Môn Cục (Bōmon no Tsubone, 坊門局), con gái của Phường Môn Tín Thanh (Bōmon Nobukiyo, 坊門信清)

• Thân vương Nagahito (長仁親王) (1196-1249) - Chủ tế thứ tám của Đền Ninna-ji (Dōjo Hosshinnō, 道助法親王)
• Nội Thân vương Reiko (礼子内親王) (1200-1273) (Kayōmon-in, 嘉陽門院)
• Thân vương Yorihito (頼仁親王) (1201-1264) (bị đày ải sau sự kiện Jōkyū)

Phu Nhân: Hyōe-no-kami no Tsubone (兵衛督局), con gái Minamoto no Nobuyasu (源信康)

• Nội Thân Vương Shukushi (粛子内親王) (Takatsuji Saigū, 高辻斎宮) (1196-?) - Saiō ở Thần cung Ise 1199-1210

Phu Nhân: Taki (滝) (?-1265), một vũ nữ (Shirabyōshi)

• Thân Vương Kakunin (覚仁法親王) (1198-1266) - Chủ tế của Đền Onjō-ji

Phu Nhân: Owari no Tsumone (尾張局) (?-1204), con gái của thầy tế Kensei (顕清)

• Thân Vương Dōkaku (道覚法親王) (1204-1250) - Chủ Tế của Đền Enryaku-ji (Tendai Zasu, 天台座主)

Phu Nhân: Tamba no Tsubone (丹波局), Ishi (石), một vũ nữ (Shirabyōshi)

• Nội Thân Vương Hiroko (煕子内親王) (Fukakusa Saigū, 深草斎宮) (1205-?) - Saiō phục vụ ở Thần cung Ise dưới triều các Hoàng đế Thuận Đức và Trọng Cung 1215-1221

Phu Nhân: Ōmiya no Tsubone (大宮局), con gái của Gon-no-Dainagon Fujiwara no Sadayoshi (藤原定能)

• Thân Vương Son'en (尊円法親王) (1207-1231) - Chủ Tế ở Đền Miidera
• Gyōetsu (行超) - thầy tế ở Đền Emryakuji

Phu Nhân: Shonagon no Suke (Thiểu Nạp Ngôn Điển Thị, 少納言典侍)

• Dōshu (Đạo Thủ, 道守) - thầy tế

Phu Nhân: Himehōshi (姫法師), một vũ nữ (Shirabyōshi)

• Kakuyo (覚誉) - thầy tế
• Dōi (Đạo Y, 道伊) - thầy tế ở Đền Onjō-ji
• Dōen (道縁) - thầy tế ở Đền Ninna-ji